Theo Tiền Hán thư (quyển 65), Địa lý chí của Ban Cố thì số dân giai đoạn cuối của nước Nam Việt (tương ứng với lãnh thổ 6 quận Nam Hải, Uất Lâm, Thương Ngô, Hợp Phố, Giao Chỉ, Cửu Chân thời Hán thuộc) như sau:

• Quận Nam Hải có 6 huyện, 19.613 hộ, 94.253 người.
• Quận Uất Lâm có 12 huyện, 12.415 hộ, 71.162 người.
• Quận Thương Ngô có 10 huyện, 24.379 hộ, 146.160 người.
• Quận Hợp Phố có 5 huyện, 15.398 hộ, 78.980 người.
• Quận Giao Chỉ có 10 huyện, 92.379 hộ, 746.237 người.
• Quận Cửu Chân có 7 huyện, 35.743 hộ, 166.013 người.

Đa số cư dân Nam Việt là người Bách Việt cũ cùng khoảng 100 ngàn người Hán di cư từ phía Bắc, nhóm này nắm giữ hầu hết chức vụ chủ chốt trong chính thể Nam Việt. Họ bao gồm con cháu của các thương gia, binh sĩ Tần được gửi xuống chinh phục phía nam với những thanh nữ phục vụ nhu cầu tình dục trong quân lực, các lại thuộc và cả tội phạm nhà Tần bị lưu đày.

Cư dân Nam Việt sinh sống chủ yếu ở phía bắc, phía đông và trung tâm Quảng Đông, một nhóm nhỏ sinh sống ở phía đông Quảng Tây.

Người Âu Việt sinh sống tại khu vực phía tây Quảng Đông, họ tập trung chủ yếu dọc lưu vực các con sông như Tầm Giang, Tây Giang và khu vực phía nam sông Quế Giang. Những con cháu của Dịch Hu Tống, thủ lĩnh Âu Việt bị quân Tần giết vẫn nắm giữ vai trò là thủ lĩnh của các thị tộc Âu Việt. Đến khi Nam Việt bị Hán diệt, khu vực quận Quế Lâm đã có khoảng vài trăm ngàn người Âu Việt sinh sống. Các thị tộc Lạc Việt sinh sống ở khu vực ngày nay là nam Quảng Tây và bắc Việt Nam, bán đảo Lôi Châu (Quảng Đông) và vùng tây nam Quý Châu. Họ tập trung tại các lưu vực Tả Giang và Hữu Giang Quảng Tây, đồng bằng sông Hồng ở bắc Việt Nam, và lưu vực sông Bàn ở Quý Châu.

Peter Bellwood đề xuất rằng các dân tộc Việt Nam là hậu duệ của người Việt cổ sinh sống tại phía bắc Việt Nam và phía tây Quảng Đông.[24]

Nam Việt vẫn thực hiện phần lớn các chính sách từ thời Tần đối với sự tiếp xúc của người bản xứ với người Hán di cư. Triệu Đà chủ chương đẩy mạnh chính sách giao hòa hai nền văn hóa với nhau. Sau khi chiếm được Âu Lạc, Triệu Đà chỉ dùng 2 quan Sứ cai quản 2 quận Giao Chỉ và Cửu Chân, và cho duy trì chế độ Lạc tướng cha truyền con nối, tổ chức vùng (bộ hay bộ lạc) của người bản địa vẫn chưa bị xóa bỏ[25]. Ở quận Quế Lâm, nhà Triệu đặt một viên quan Giám để trông coi. Sử cũ ghi nhận vị quan Giám cuối cùng của quận Quế Lâm là Cư Ông.[26][27] Tuy nhiên, người Hán nắm giữ hầu hết các chức vụ trong chính quyền, sự áp đảo này diễn ra ngay sau khi quân Tần chinh phục phía nam. Trải qua thời gian, người Việt bắt đầu tham gia nhiều hơn vào chính quyền. Lữ Gia thừa tướng cuối cùng của Nam Việt là một người bản địa, và hơn 70 họ hàng thân thích của ông ta đã làm quan với các cấp bậc khác nhau trong chính quyền của Nam Việt. Tại những khu vực dân cư mà triều đình gọi là "phức tạp", các thủ lĩnh người bản địa thường được trao cho quyền tự trị lớn. Dưới quyền cai trị của mình, Triệu Đà đã thúc đẩy người Hán di cư vào biên giới Nam Việt. Hôn nhân giữa người Hán và người bản địa ngày càng trở nên phổ biến trong suốt thời gian tồn tại của Nam Việt, thậm chí xảy ra trong hoàng tộc họ Triệu. Nhiều cuộc hôn nhân giữa hoàng tộc họ Triệu và gia đình của Lữ Gia đã được sử sách ghi chép. Triệu Kiến Đức vị vua cuối cùng của Nam Việt là con trai của vị vua trước Triệu Minh Vương với vợ người bản địa.

Vào giai đoạn Chiến Quốc, vùng Lĩnh Nam là vùng sản xuất lúa gạo, tuy nhiên nông cụ sản xuất nông nghiệp hầu hết là đá hoặc bằng đồng, trong khi vùng đồng bằng phía Bắc đã sử dụng phổ biến các nông cụ bằng sắt. Trong cuộc chinh phạt của nhà Tần ở vùng Lĩnh Nam, cùng với dân di cư ở các vùng đồng bằng đã mang theo các công cụ bằng sắt, và nhiều kĩ thuật mới về sản xuất nông nghiệp đã đem lại sự cải thiện về trình độ sản xuất nông nghiệp cho vùng Lĩnh Nam.